Figure 1. The proposed pixel2style2pixel framework can be used to solve a wide variety of image-to-image translation tasks. Here we show results of pSp on StyleGAN inversion, multi-modal conditional image synthesis, facial frontalization, inpainting and super-resolution.

We study the learning dynamics of self-predictive learning for reinforcement learning, a family of algorithms that learn representations by minimizing the prediction error of their own future latent representations. Despite its recent empirical success, such algorithms have an apparent defect: trivial representations (such as constants) minimize the prediction error, yet it is obviously undesirable to converge to such solutions. Our central insight is that careful designs of the optimization dynamics are critical to learning meaningful representations. We identify that a faster paced optimization of the predictor and semi-gradient updates on the representation, are crucial to preventing the representation collapse. Then in an idealized setup, we show self-predictive learning dynamics carries out spectral decomposition on the state transition matrix, effectively capturing information of the transition dynamics. Building on the theoretical insights, we propose bidirectional self-predictive learning, a novel self-predictive algorithm that learns two representations simultaneously. We examine the robustness of our theoretical insights with a number of small-scale experiments and showcase the promise of the novel representation learning algorithm with large-scale experiments.

Inference from large autoregressive models like Transformers is slow - decoding K tokens takes K serial runs of the model. In this work we introduce speculative decoding - an algorithm to sample from autoregressive models faster without any changes to the outputs, by computing several tokens in parallel. At the heart of our approach lie the observations that (1) hard language-modeling tasks often include easier subtasks that can be approximated well by more efficient models, and (2) using speculative execution and a novel sampling method, we can make exact decoding from the large models faster, by running them in parallel on the outputs of the approximation models, potentially generating several tokens concurrently, and without changing the distribution. Our method supports existing off-the-shelf models without retraining or architecture changes. We demonstrate it on T5-XXL and show a 2X-3X acceleration compared to the standard T5X implementation, with identical outputs.

Comparing Bayesian neural networks (BNNs) with different widths is challenging because, as the width increases, multiple model properties change simultaneously, and, inference in the finite-width case is intractable. In this work, we empirically compare finite- and infinite-width BNNs, and provide quantitative and qualitative explanations for their performance difference. We find that when the model is mis-specified, increasing width can hurt BNN performance. In these cases, we provide evidence that finite-width BNNs generalize better partially due to the properties of their frequency spectrum that allows them to adapt under model mismatch.

我们研究保形预测的鲁棒性，这是标记噪声的不确定性定量的强大工具。我们的分析解决了回归和分类问题，表征了何时以及如何构建正确覆盖未观察到的无噪音地面真相标签的不确定性集。通过风格化的理论示例和实际实验，我们认为天真的保形预测涵盖了无噪声的地面真相标签，除非噪声分布是对手设计的。这使我们相信，除了病理数据分布或噪声源外，对标签噪声的纠正是不必要的。在这种情况下，我们还可以在保形预测算法中校正有界大小的噪声，以确保在没有得分或数据规律性的情况下正确覆盖地面真相标签。

实际上，许多医疗数据集在疾病标签空间上定义了基本的分类学。但是，现有的医学诊断分类算法通常假定具有语义独立的标签。在这项研究中，我们旨在利用深度学习算法来利用类层次结构，以更准确，可靠的皮肤病变识别。我们提出了一个双曲线网络，以共同学习图像嵌入和类原型。事实证明，双曲线为与欧几里得几何形状更好地建模层次关系提供了一个空间。同时，我们使用从类层次结构编码的距离矩阵限制双曲线原型的分布。因此，学习的原型保留了嵌入空间中的语义类关系，我们可以通过将图像特征分配给最近的双曲线类原型来预测图像的标签。我们使用内部皮肤病变数据集，该数据集由65种皮肤疾病的大约230k皮肤镜图像组成，以验证我们的方法。广泛的实验提供了证据表明，与模型相比，我们的模型可以实现更高的准确性，而在不考虑班级关系的情况下可以实现更高的严重分类错误。

将人类运营商和虚拟代理（机器人）相结合到有效的混合系统中的前景是为客户提供适当的客户服务的前景，这是有希望而又具有挑战性的。当机器人无法提供适当的服务并在他们喜欢与人类运营商互动时，混合系统会减少客户的挫败感。此外，我们表明，可以通过使虚拟代理能够向人类操作员逐步学习来降低建立和维护此类虚拟代理的成本和努力。我们采用排队理论来确定控制此类混合系统行为和效率的关键参数，并确定应优化应进行优化以改善服务的主要参数。我们正式证明并在广泛的模拟和用户研究中证明，有了适当的选择，这种混合系统能够增加服务客户的数量，同时减少他们的预期等待时间和增加满意度。

任何稀疏编码方法的最终目标是从几个嘈杂的线性测量值（一个未知的稀疏向量）中准确恢复。不幸的是，这个估计问题通常是NP-HARD，因此始终采用近似方法（例如Lasso或正交匹配的追踪）来接近它，从而使准确性以较小的计算复杂性进行了交易。在本文中，我们为稀疏编码开发了一种量子启发的算法，前提是，与经典近似方法相比，量子计算机和ISING机器的出现可能会导致更准确的估计。为此，我们将最一般的稀疏编码问题作为二次不受约束的二进制优化（QUBO）任务提出，可以使用量子技术有效地最小化。为了在旋转数量（空间复杂性）方面也有效地得出QUBO模型，我们将分析分为三种不同的情况。这些由表达基础稀疏向量所需的位数来定义：二进制，2位和一般的定点表示。我们使用有关Lightsolver量子启发的数字平台的模拟数据进行数值实验，以验证我们的QUBO公式的正确性，并证明其优于基线方法的优势。

计算机视觉中有意义的不确定性量化需要有关语义信息的推理 - 例如，照片中的人的头发颜色或街上汽车的位置。为此，最近在生成建模方面的突破使我们能够在分离的潜在空间中代表语义信息，但是在语义潜在变量上提供不确定性仍然具有挑战性。在这项工作中，我们提供了原则上的不确定性间隔，这些间隔可保证为任何潜在的生成模型包含真正的语义因素。该方法执行以下操作：（1）它使用分位数回归来输出潜在空间中每个元素的启发式不确定性间隔（2）校准了这些不确定性，以使它们包含新的，看不见的输入的潜在值。然后可以通过发电机传播这些校准间隔的终点，以为每个语义因素产生可解释的不确定性可视化。该技术可靠地传达了语义上有意义的，有原则和实例自适应的不确定性，例如图像超分辨率和图像完成。

在Bora等。 （2017年），在测量矩阵为高斯，信号结构是生成神经网络（GNN）的范围的设置中开发了一个数学框架，用于压缩传感保证。此后，当测量矩阵和/或网络权重遵循Subgaussian分布时，对GNNS进行压缩感测的问题进行了广泛的分析。我们超越了高斯的假设，以通过在单一基质的随机行中均匀地采样（包括作为特殊情况下的亚采样傅立叶测量值）来得出的测量矩阵。具体而言，我们证明了使用亚次采样的二型限制感测的第一个已知的限制等轴测保证，并提供了几乎有序的样品复杂性的恢复边界，解决了Scarlett等人的开放问题。 （2022，第10页）。恢复功效的特征是连贯性，这是一个新参数，该参数测量了网络范围与测量矩阵之间的相互作用。我们的方法依赖于子空间计数论点和思想的核心概率。此外，我们提出了一种正规化策略，以使GNN与测量运算符具有有利的连贯性。我们提供令人信服的数值模拟来支持这种正规训练策略：我们的策略产生低相干网络，需要更少的信号回收测量。这与我们的理论结果一起支持连贯性作为自然量，用于表征与亚次采样的生成压缩感测。